查看原文
其他

9大场景实测即梦动效画板,AI视频精准控制迎来2.0版本

AI沃茨 卡尔的AI沃茨
2024-11-11

彩蛋进度条加载中 0️⃣%->5️⃣0️⃣%->9️⃣9️⃣%

现在AI界都流行凌晨突然发布,

即梦AI这次却提前四天预告了新功能“动效画板”。

很好!但没有内测,

而且这个功能乍一看,怎么跟今年Runway 和 Pixverse相继推出的运动画笔有点像?

Runway(上)即梦(下)



这不对吧,

你怎么能把大半年前的技术搬上来呢?

跟阿汤回顾了目前运动画笔没有被应用在实际工作流的原因主要有三个,

  1. 没有办法支持很大幅度的动作
  2. 无法控制动作的幅度
  3. 主体移动后背景容易跟随产生形变

简单来说,跟用PS把物体抠出来在PPT上跳舞没啥区别😏

所以,这次即梦推出的“动效画板”和之前的运动笔刷还是有一定区别的,

至少从效果上看,已经能够解决上述的几个问题,但也存在另外的小遗憾(我们结尾总结

为了让大家更清晰的看到效果,我跟阿汤重新扒了一下即梦、Runway、Pixverse官方放出的效果视频,

结合我们日常做AI视频所需控制主体变化的场景,

总结出了9类“运动画板”的使用场景,供大家“食用”:

  • 单主体:单方向运动、多方向运动、消失、出现、运动变化

  • 多主体:单方向运动、多方向运动、互动、主体与背景互动

相信我,没有比这更全更细的评测了!

按照惯例,测试开始之前,先报一下参数:

  • 支持输入【16:9】~ 【21:9】之间的图片

  • 可以生成6s的视频

  • 可以根据自己的意愿决定主体运动的结束框位置,甚至可以移出画幅

  • 可以自动框选主体或背景,类似自动识别抠图

OK,准备就绪,Here we go!

对了,这次我们也把全套测试视频放到了文档,公众号回复即梦就能领取👏

单主体 - 单方向运动

1、石头向上漂浮起来


2、小兔子向前蹦蹦跳跳


3、足球向前滚动


总结:单方向的控制,是所有轨迹控制里最简单的一个,基本上不会造成主体的崩坏,石头漂浮是让我觉得的很惊喜的效果,毕竟从前靠提示语确实比较难去精准控制,只能依赖抽卡,现在成功率就大大提升!

单主体 - 多方向运动

1、一个男孩在来回挥手


2、钟表左右摇晃摆动


3、男孩上下点头或左右摇头


4、小兔子向前蹦跳


总结:多方向运动一般是指我们控制主体上下左右来回变换方向去动,这个就更能体现精准控制中的“精准”一词了。小遗憾就是确实动作轨迹比较夸张的话,主体还是会有点崩(参考第四个小兔子),但是好处是我们无论生成多少个视频,兔子的运动方向都是一致的。

单主体消失

1、篝火慢慢熄灭,天空变暗


2、小鱼慢慢向前游动


总结:主体消失分为两种,一种就是物体真正意义的消失在画面中,另一种是靠运动移出画幅。这里主要提一下,火焰消失的部分,真的做的很棒,周围环境随着火焰熄灭而发生的光影变化也很真实。

单主体出现

1、魔法书产生魔法向上漂浮


2、火苗逐渐燃烧成巨大的火焰


3、篝火燃烧成巨大的火焰


总结:你们说放在以前只靠提示语的时候,要怎么控制燃烧火焰的大小、高度呢?现在都能做到了,我想让它烧多高就烧多高,想让它往哪烧就往哪烧!

单主体形变‍‍

1、小树苗慢慢发芽长大


2、机器人变形成为坦克


总结:形变其实首尾帧做可能会更好,更精确,但是这种通过控制结束位置来控制物体发生形变的效果也很不错,有意外的惊喜感。

多主体单方向运动

1、一辆车超过另一辆车

2、两个小球向前滚动

总结:多主体的单方向运动其实也是很好做出的效果,只要控制运动幅度的大小,和每个人主体结束运动的位置,就可以做出一些类似超车的效果。

多主体多方向运动

1、小鸟们上上下下晃动

2、两朵小花来回摇摆


3、两件衣服挂在衣架上随风飘动


总结:小鸟这个效果是我最喜欢的一个效果,上下上下的效果未来可以放在各种片子里,用于做一些滑稽画面的效果,不过即梦现在最多支持5个主体,不然我一定要七八九十鸟一起上上下下做体操哈哈。

多主体互动

1、两个小女孩拥抱在一起

2、两头鹿走进靠在一起


总结:主体面对面走近的运动,还可以做出主体互动的感觉。比如这两个小女孩拥抱在一起的效果做的就很自然,甚至还有小女孩手拍一拍后背的细节,就是当两个主体重叠的时候还是会有一点融合,表情也会有一点微崩。

主体与背景互动

1、飞船在宇宙中向前行驶

2、宇宙中一颗石头快速下坠


总结:主体与背景的相对运动,也可以产生一些互动感。这里的方法就是框出主体设置前进轨迹,再框住背景将背景运动轨迹设置成相反方向就可以了。

写在最后

即梦AI,是最开始让我们看到用AI做叙事短片有希望的地方,

当时的首尾帧,也是我们做视频转场时高频使用的功能,

所以,我们一直都对即梦的更新抱着更大的包容和期待。

他们也这样跟我们说,

“你们有需要,我们就会做~”

感动~!

总的来说,

即梦【动效画板】的更新,算是把视频元素精准控制这个目标又开了个头,

开头说的小遗憾就是,

这次更新没有上DiT模型,

所以,我们决定每周在朋友圈催更一次👀


[Runway] Gen3 VS [国产Sora] Vidu,我又用100个镜头来测评图生视频效果了!

我用智谱「清影」做了100个镜头,Sora们要坐不住了

作者 / 阿汤 & 卡尔 动手学AI 知识库 👉 learnprompt.pro


最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……


今日份的彩蛋码是🎲🎲🎲 公众号回复即梦

继续滑动看下一个
卡尔的AI沃茨
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存